import pandas as pd
from pycountry_convert import country_alpha2_to_country_name, country_name_to_country_alpha3

import os,sys
from glob import glob
import polars as pl
import numpy as np
import plotly.express as px
import plotly.graph_objects as go
import warnings; warnings.filterwarnings("ignore")

# =========== load CSV files =========== 
if ('d_dfs' in globals())==False:
    d_dfs={}
    files =[r"C:\Users\Gustavo\Desktop\Human T\DatasetVersions.csv",
r"C:\Users\Gustavo\Desktop\Human T\Datasets.csv"] 
    for i, f in enumerate(files):         
        f1 = os.path.splitext(os.path.basename(f))[0]            
        try:
            k = 'CreationDate'
            d_dfs[f1] = pd.read_csv(f,parse_dates= [k] )
            d_dfs[f1]['creation_time_index'] = d_dfs[f1][k].dt.year*100 + d_dfs[f1][k].dt.month        
        except:
            try:
                k = 'VoteDate'
                d_dfs[f1] = pd.read_csv(f,parse_dates = [k] )
                d_dfs[f1]['vote_time_index'] = d_dfs[f1][k].dt.year*100 + d_dfs[f1][k].dt.month                
            except:
                d_dfs[f1] = pd.read_csv(f)

print(d_dfs.keys())

dict_keys(['DatasetVersions', 'Datasets'])

#juntar dos datasets

all_on_ds_df=pl.DataFrame( d_dfs['Datasets'] ).join( pl.DataFrame( d_dfs['DatasetVersions'] ), left_on ='Id', right_on ='DatasetId' )
d_dfs['Datasets']=d_dfs['Datasets'].sort_values('Id')
try:
    del Records
except:
    pass

# =========== Search on relevant datasets and those on covid and fraud for comparison =========== 
wordlist = [ 'COVID', 'Fraud', 'smuggle people', 'smuggling of people', 'kidnapping','missing migrant', 'missing people', 'abduction', 'human traffick', 'child traffick', 'drug traffick', 'adult traffick', 'sex traffick','women traffick', 'labour exploitation','labor exploitation', 'forced labour', 'forced labor', 'modern slave' ]
for i,word in enumerate(wordlist):
    if i>1:
        df1= all_on_ds_df.filter( pl.col('Title').str.contains(r'(?i)%s'%word) | pl.col('Subtitle').str.contains(r'(?i)%s'%word)  | pl.col('Description').str.contains(r'(?i)%s'%word)  )
    else:
        df1= all_on_ds_df.filter( pl.col('Title').str.contains(r'(?i)%s'%word) | pl.col('Subtitle').str.contains(r'(?i)%s'%word)  )    
    
    if ('traffick' in word) | ('smuggl' in word):
        w = 'human trafficking'
        df = df1.with_columns( pl.lit(2).alias('marker'))        
    elif ('labour' in word) | ('labor' in word) | ('slave' in word):
        w = 'forced labour'
        df = df1.with_columns( pl.lit(2).alias('marker'))        
    elif ('missing' in word) | ('kidnapping' in word)  | ('abduction' in word) :
        w = 'Missing people'
        df = df1.with_columns( pl.lit(2).alias('marker'))            
    else: # COVID, fraud
        w = word
        df = df1.with_columns( pl.lit(1).alias('marker'))                
        
    df = df.with_columns( pl.lit(w).alias('theme'))        
    df = df.with_columns( (pl.concat_str(pl.col('theme'), pl.col('Slug'), separator=" | ")).alias('theme_slug') )    
    try:
        Records = pl.concat( [Records, df], )
    except:        
        Records = df.clone()

# =========== Preprocess =========== 
df = Records.to_pandas() 

from datetime import datetime
day=datetime.today().day
mon=datetime.today().month
yr=datetime.today().year

today = pd.to_datetime(datetime.today().strftime('%Y-%m-%d 00:00:00'))

df['age'] = np.log1p((today - df['CreationDate']).dt.days / 30)
df['time_index'] = df['creation_time_index'] - 200000

df['nViews'] = df['TotalViews'] / (df['age'] + 1e-10) * 100
df['nvotes'] = df['TotalVotes'] / (df['age'] + 1e-10) * 100
df['ndownloads'] = df['TotalDownloads'] / (df['age'] + 1e-10) * 100
df['nkernels'] = df['TotalKernels'] / (df['age'] + 1e-10) * 100

df['popularity'] = (
    df['nViews'] + 2 * df['nvotes'] + df['ndownloads'] + df['nkernels']
) + 10

df['theme'] = df['theme'].replace({
    'COVID': 'COVID',
    'Fraud': 'Fraude',
    'Missing people': 'Personas desaparecidas',
    'forced labour': 'Trabajo forzado',
    'human trafficking': 'Trata de personas'
})

import plotly.express as px
import plotly.graph_objects as go

# Ordenar por tiempo
d1 = df.sort_values('time_index')

# Crear gráfico de dispersión
fig = px.scatter(
    d1,
    y='theme_slug',
    x='time_index',
    color='theme',
    symbol='theme',
    hover_name='Slug',
    size_max=8,
    height=800,
    width=1200
)

# Ajustar ticks del eje X
fig.update_xaxes(
    tickangle=40,
    tickvals=[1600, 1700, 1800, 1900, 2000, 2100, 2200, 2300],
    ticktext=['2016', '2017', '2018', '2019', '2020', '2021', '2022', '2023'],
    title_text='Fecha'
)

# Ajustar eje Y
fig.update_yaxes(title_text='Tema')

# Título y estilo en español
fig.update_layout(
    title=dict(
        font=dict(color='darkred', size=16),
        text='<b>- Usa el zoom para ver por mes<br>'
             '- Desactiva temas para enfocarte en "trabajo forzado" o "trata de personas"<br>'
             '- Haz clic en AutoScale para reiniciar la vista</b>'
    ),
    margin=dict(t=100, l=200),
    font=dict(family="Arial", size=12),
)

# Mostrar el gráfico dentro de VS Code (si estás en Jupyter)
fig.show(renderer="notebook")

import os, sys
import IPython
from IPython.display import display, HTML
from pathlib import Path
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
import seaborn as sns
import plotly
import plotly.express as px
import warnings; warnings.filterwarnings('ignore')
import umap 
from plotly.offline import init_notebook_mode; init_notebook_mode(connected=True);
ght_df = pd.read_csv(r"C:\Users\Gustavo\Desktop\Human T\human_trafficking.csv")
ght_df.replace('-99', np.nan, inplace=True)
ght_df.replace(-99, np.nan, inplace=True)

from pycountry_convert import country_alpha2_to_country_name, country_name_to_country_alpha3
def get_alpha3(col):
    try:
        iso_3 =  country_name_to_country_alpha3(col)
    except:
        iso_3 = 'Unknown'
    return iso_3

def get_name(col):
    try:
        name =  country_alpha2_to_country_name(col)
    except:
        name = 'Unknown'
    return name

ght_df['country'] = ght_df['citizenship'].apply(lambda x: get_name(x))
ght_df['alpha_3'] = ght_df['country'].apply(lambda x: get_alpha3(x))
ght_map = pd.DataFrame(ght_df.groupby(['country', 'alpha_3'])['alpha_3'].agg(Victims='count')).reset_index()

fig = px.choropleth(ght_map, locations="alpha_3", color="Victims",  hover_name="country")
fig.update_layout(
    autosize=False,
    width=800,
    title_text="Prevalencia mundial de la trata de personas según estadísticas de 2002 a 2019 recopiladas por el centro global de datos Counter-Trafficking Data Collaborative",
    title_x=0.5,
    title_y=0.95,
    title_font=dict(size=8, color='black'),
)
fig.show()

# Normalizar la columna para que 'Abuse' esté en minúsculas
ght_df['meansOfControlConcatenated'] = ght_df['meansOfControlConcatenated'].str.replace('Abuse', 'abuse', regex=True)

# Contar los medios de control por género
data_bar_f = ght_df[(ght_df.meansOfControlConcatenated.notna()) & (ght_df.gender == 'Female')].meansOfControlConcatenated.apply(lambda x: pd.value_counts(str(x).split(";"))).sum(axis=0)
data_bar_m = ght_df[(ght_df.meansOfControlConcatenated.notna()) & (ght_df.gender == 'Male')].meansOfControlConcatenated.apply(lambda x: pd.value_counts(str(x).split(";"))).sum(axis=0)

from plotly.subplots import make_subplots
traducciones = {
    "Debt bondage": "Esclavitud por deudas",
    "Physical abuse": "Abuso físico",
    "Psychological abuse": "Abuso psicológico",
    "Sexual abuse": "Abuso sexual",
    "Threats": "Amenazas",
    "Withholds documents": "Retención de documentos",
    "Excessive working hours": "Exceso de horas laborales",
    "False promises": "Falsas promesas",
    "Restricts movement": "Restricción de movimiento",
    "Takes earnings": "Confiscación de ingresos",
    "Withholds necessities": "Retención de necesidades",
    "Restricts medical care": "Restricción médica",
    "Psychoactive substances": "Sustancias psicoactivas",
    "Threat of law enforcement": "Amenaza policial",
    "Other": "Otro",
    "Not specified": "No especificado",
    "Uses children": "Uso de menores",
    "Restricts financial access": "Restricción financiera",
    "Friend/Acquaintance": "Amigo/Conocido",
    "Family/Relative": "Familiar/Pariente",
    "Intimate Partner": "Pareja íntima"
}

# Aplicar traducciones a los índices
data_bar_f.rename(index=traducciones, inplace=True)
data_bar_m.rename(index=traducciones, inplace=True)

# Crear figura con dos columnas
fig = make_subplots(rows=1, cols=2)

# Agregar barras de medios de control (izquierda)
fig.add_trace(go.Bar(name='Mujer', x=data_bar_f.index, y=data_bar_f), row=1, col=1)
fig.add_trace(go.Bar(name='Hombre', x=data_bar_m.index, y=data_bar_m), row=1, col=1)

# Contar relaciones con reclutadores por género
data_bar_f_rel = ght_df[(ght_df.RecruiterRelationship.notna()) & (ght_df.gender == 'Female')].RecruiterRelationship.apply(lambda x: pd.value_counts(str(x).split("; "))).sum(axis=0)
data_bar_m_rel = ght_df[(ght_df.RecruiterRelationship.notna()) & (ght_df.gender == 'Male')].RecruiterRelationship.apply(lambda x: pd.value_counts(str(x).split("; "))).sum(axis=0)

# Aplicar traducciones a los índices de relaciones
data_bar_f_rel.rename(index=traducciones, inplace=True)
data_bar_m_rel.rename(index=traducciones, inplace=True)

# Agregar barras de relación víctima-depredador (derecha)
fig.add_trace(go.Bar(name='Mujer', x=data_bar_f_rel.index, y=data_bar_f_rel), row=1, col=2)
fig.add_trace(go.Bar(name='Hombre', x=data_bar_m_rel.index, y=data_bar_m_rel), row=1, col=2)

# Ajustes de visualización y mostrar figura solo una vez
fig.update_traces(texttemplate='%{value}', textposition='outside')
fig.update_layout(title_text='Medios de Control (izquierda) y Relación Víctima-Depredador (derecha)')
fig.show()

# Dataset de trata de personas en Reino Unido (UK)
import pandas as pd
import plotly.express as px

# Cargar los archivos con rutas locales
uk_2013 = pd.read_csv(r"C:\Users\Gustavo\Desktop\Human T\2013_exploitation_type.csv")
uk_2014 = pd.read_csv(r"C:\Users\Gustavo\Desktop\Human T\2014_exploitation_type.csv")
uk_2015 = pd.read_csv(r"C:\Users\Gustavo\Desktop\Human T\2015_exploitation_type.csv")
uk_2016 = pd.read_csv(r"C:\Users\Gustavo\Desktop\Human T\2016_exploitation_type.csv")

# Normalizar nombres de columnas
uk_2016.rename(columns={'Claimed Exploitation Type': 'Claimed exploitation Type'}, inplace=True)
uk_2016.rename(columns={'Trans- gender': 'Transgender'}, inplace=True)
uk_2015.rename(columns={'Transsexual': 'Transgender'}, inplace=True)

# Agregar año
uk_2013['Year'] = 2013
uk_2014['Year'] = 2014
uk_2015['Year'] = 2015
uk_2016['Year'] = 2016

# Unificar solo columnas necesarias
cols = ['Claimed exploitation Type', 'Female', 'Male', 'Year']
uk_2013 = uk_2013[cols]
uk_2014 = uk_2014[cols]
uk_2015 = uk_2015[cols]
uk_2016 = uk_2016[cols]

# Unir los datasets
uk_df = pd.concat([uk_2013, uk_2014, uk_2015, uk_2016])

# Diccionario de traducción para los tipos de explotación
traduccion_explotacion = {
    'Adult - Domestic Servitude': 'Adulto - Servidumbre doméstica',
    'Adult - Labour Exploitation': 'Adulto - Explotación laboral',
    'Adult - Sexual Exploitation': 'Adulto - Explotación sexual',
    'Adult - Unknown exploitation': 'Adulto - Explotación desconocida',
    'Minor - Domestic Servitude': 'Menor - Servidumbre doméstica',
    'Minor - Labour Exploitation': 'Menor - Explotación laboral',
    'Minor - Sexual Exploitation': 'Menor - Explotación sexual',
    'Minor - Unknown exploitation': 'Menor - Explotación desconocida',
    'Unknown age & Unknown exploitation type': 'Edad desconocida y tipo de explotación desconocido',
    'Total': 'Total',
    'Adult - Organ Harvesting': 'Adulto - Extracción de órganos',
    'Minor - Organ Harvesting': 'Menor - Extracción de órganos',
    'Unknown exploitation type (UK national)': 'Tipo de explotación desconocido (nacional UK)',
    'Unknown exploitation type (non-UK National)': 'Tipo de explotación desconocido (no nacional UK)'
}

# Aplica la traducción a la columna
uk_df['Tipo de explotación reclamada'] = uk_df['Claimed exploitation Type'].replace(traduccion_explotacion)

# Ahora usa la columna traducida en el gráfico
fig = px.box(
    uk_df,
    y=['Female', 'Male'],
    color='Year',
    x='Tipo de explotación reclamada',
    labels={
        'value': 'Número de víctimas',
        'variable': 'Género',
        'Year': 'Año',
        'Tipo de explotación reclamada': 'Tipo de explotación reclamada'
    }
)
fig.update_layout(
    title_text='Incidentes de trata reportados en Reino Unido (2013-2016)',
    xaxis_title='Tipo de explotación reclamada',
    yaxis_title='Número de víctimas',
    legend_title='Año'
)
fig.show()

Región	Año	Nombre	Fuente	Información general	Discusión dentro/fuera de Kaggle	Notas de uso
Global	2019	Dataset Hotel-ID-50k 2019	Artículo de Stylianou et al, (2019)	Ver Sección III-1a
Global	2021	Dataset Hotel-ID 2021	Imágenes de habitaciones de hotel subidas mediante la aplicación móvil TraffickCam (Kamath et al. 2021)	Ver Sección III-1a
Global	Actualizado anualmente	World Factbook de la CIA	CIA World Factbook	Datos web extraídos del almanaque de la CIA	1 notebook
Global	2020	Global Human Trafficking (GHT)	Counter-Trafficking Data Collaborative	Datos sobre 50,000 casos	3 notebooks EDA en Kaggle	Valores faltantes indicados con -99. Blog en Medium analiza flujos de trata
Global	2018	Esclavitud Moderna	Reporte del General Intelligence Service (GIS)	Resumen CSV compilado	Aplicación GIS de visualización geoespacial
Europa	2018	Detección de personas en riesgo mediante aprendizaje semi-supervisado	Conferencia IEEE/ACM 2018 sobre Análisis de Redes Sociales y Minería	Datos etnográficos online con 18 atributos y 1,048,575 muestras extraídas de foros adultos europeos	Notebook EDA tras limpieza	Código inicial en suplementario
Reino Unido	2013-2016	Trata de Personas en Reino Unido (UKHT)	Agencia Nacional contra el Crimen del Reino Unido (NCA)	Reportes del sitio web NCA	Notebook visualizando incidentes reportados en el tiempo
India	2018-2020	Trata de Personas en India (HTI)	Oficina Nacional de Registros Criminales de India	Datos agregados como casos reportados anuales por estado/territorio y etnicidades de víctimas	Análisis en R por usuario de Kaggle
Nepal	2018-2019	CID NEPAL 2076 y Esclavitud Mundial	Revista CID 2076	Año fiscal 2018-2019	Análisis preliminar mensual de incidentes en Nepal por usuario de Kaggle

Datasets generales sobre crimen¶

Otros datasets¶

Observaciones del dataset Global Human Trafficking (GHT) ¶

Nuestras interpretaciones basadas en su análisis exploratorio incluyen:¶

Nuestro seguimiento al dataset de trata de personas en Reino Unido (UKHT) ¶